The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

The deep learning community has witnessed an exponentially growing interest in self-supervised learning (SSL). However, it still remains unexplored how to build a framework for learning useful representations of raw music waveforms in a self-supervised manner. In this work, we design Music2Vec, a framework exploring different SSL algorithmic components and tricks for music audio recordings. Our model achieves comparable results to the state-of-the-art (SOTA) music SSL model Jukebox, despite being significantly smaller with less than 2% of parameters of the latter. The model will be released on Huggingface(Please refer to: https://huggingface.co/m-a-p/music2vec-v1)

视觉变压器（VIT）正在出现，并且在计算机视觉任务中的准确性显着提高。但是，它们的复杂架构和巨大的计算/存储需求对新硬件加速器设计方法施加了紧迫的需求。这项工作提出了基于提议的混合速度量化的FPGA感知自动VIT加速框架。据我们所知，这是探索模型量化的第一个基于FPGA的VIT加速框架。与最先进的VIT量化工作（仅无硬件加速的算法方法）相比，我们的量化在相同的位宽度下可实现0.47％至1.36％的TOP-1精度。与32位浮点基线FPGA加速器相比，我们的加速器在框架速率上的提高约为5.6倍（即56.8 fps vs. 10.0 fps），对于DeitBase的ImagEnet数据集，精度下降了0.71％。

凝视估计是一种确定一个人在何处看着该人的脸的方法，是理解人类意图的宝贵线索。与其他计算机视觉领域类似，深度学习（DL）方法在凝视估计域中获得了认可。但是，凝视估计域中仍然存在凝视校准问题，从而阻止了现有方法进一步改善性能。一个有效的解决方案是直接预测两只人眼的差异信息，例如差异网络（DIFF-NN）。但是，此解决方案仅使用一个推理图像时会导致准确性丧失。我们提出了一个差异残差模型（DRNET）与新的损失函数相结合，以利用两个眼睛图像的差异信息。我们将差异信息视为辅助信息。我们主要使用两个公共数据集（1）mpiigaze和（2）Eyediap评估了提出的模型（DRNET）。仅考虑眼睛功能，DRNET分别使用Mpiigigaze和EyeDiap数据集以$ Angular-Error $为4.57和6.14的最先进的目光估计方法。此外，实验结果还表明，DRNET对噪声图像非常强大。

基于深度学习的潜在表示已被广泛用于众多科学可视化应用，例如等法相似性分析，音量渲染，流场合成和数据减少，仅举几例。但是，现有的潜在表示主要以无监督的方式从原始数据生成，这使得很难合并域兴趣以控制潜在表示的大小和重建数据的质量。在本文中，我们提出了一种新颖的重要性驱动的潜在表示，以促进领域利益引导的科学数据可视化和分析。我们利用空间重要性图来代表各种科学利益，并将它们作为特征转化网络的输入来指导潜在的生成。我们通过与自动编码器一起训练的无损熵编码算法，进一步降低了潜在尺寸，从而提高了存储和存储效率。我们通过多个科学可视化应用程序的数据进行定性和定量评估我们方法产生的潜图的有效性和效率。

联合学习（FL）已成为机器学习中的实用且流行的范式。但是，目前，没有系统的解决方案涵盖不同的用例。从业者经常面临如何为其用例选择匹配的FL框架的挑战。在这项工作中，我们提出了Unifed，这是对现有开源FL框架进行标准化评估的第一个统一基准。在15个评估方案中，我们从功能，可用性和系统性能的角度出发了9个现有流行开源的FL框架的定性和定量评估结果。我们还根据基准结论提供有关框架选择的建议，并指出未来的改进方向。

使用机器学习来求解组合优化（CO）问题是具有挑战性的，尤其是当数据未标记时。这项工作为CO问题提供了无监督的学习框架。我们的框架遵循标准的放松加能方法，并采用神经网络来参数放松的解决方案，以便简单的后传播可以端到端训练模型。我们的关键贡献是，观察到，如果放松的目标满足入门凹度，那么低优化损失就可以保证最终积分解决方案的质量。该观察结果显着扩大了受ERDOS概率方法启发的先前框架的适用性。特别是，该观察结果可以指导目标模型的设计，在这些应用程序中未明确给出目标，同时需要在先验中进行建模。我们通过解决合成图优化问题以及两个现实世界应用程序来评估我们的框架，包括电路设计中的资源分配和近似计算。我们的框架在很大程度上优于基于Na \“ {i}的放松，增强学习和Gumbel-Softmax技巧的基线。

已经对机器学习技术进行了广泛的研究，以实现掩盖优化问题，旨在提高掩模的可打印性，更短的周转时间，更好的遮罩制造性等。但是，这些研究中的大多数都集中在小型设计区域的初始解决方案生成上。为了进一步实现机器学习技术在面罩优化任务上的潜力，我们提出了一个卷积傅立叶神经操作员（CFNO），该神经操作员（CFNO）可以有效地学习布局瓷砖依赖性，从而有望使用有限的遗产工具干预，并有望使用无针迹的大规模掩蔽优化。我们在解决非凸优化问题时通过训练有素的机器学习模型发现了岩石引导的自我训练（LGST）的可能性，从而允许迭代模型和数据集更新并带来显着的模型性能改进。实验结果表明，我们基于机器学习的框架首次优于最先进的学术数值掩码优化器，并具有速度级的速度。

本文介绍了Thuee团队的语音识别系统，用于IARPA Open自动语音识别挑战（OpenASR21），并进行了进一步的实验探索。我们在受限和受约束的训练条件下取得了出色的成果。对于受限的训练条件，我们基于标准混合体系结构构建基本ASR系统。为了减轻摄影库（OOV）的问题，我们使用针对OOV和潜在的新单词的素式至phoneme（G2P）技术扩展了发音词典。采用了标准的声学模型结构，例如CNN-TDNN-F和CNN-TDNN-F-A。此外，还应用了多种数据增强技术。对于约束训练条件，我们使用自我监督的学习框架WAV2VEC2.0。我们在公开可用的预训练XLSR-53的基础上使用连接式时间分类（CTC）标准进行各种微调技术。我们发现，在将WAV2VEC2.0预训练的模型应用于基于编码器的CTC/CTC/COATION ASR体系结构时，前端特征提取器在将WAV2VEC2.0预训练的模型应用时起着重要作用。通过将目标语言用作为前端功能提取器使用的CTC模型填充可以实现额外的改进。

为了在带宽洪泛环境（例如无线网络）中启用大规模的机器学习，最近在设计借助通信压缩的帮助下，最近在设计沟通效率的联合学习算法方面取得了重大进展。另一方面，隐私保护，尤其是在客户层面上，是另一个重要的避税，在存在高级通信压缩技术的情况下尚未同时解决。在本文中，我们提出了一个统一的框架，以通过沟通压缩提高私人联邦学习的沟通效率。利用通用压缩操作员和局部差异隐私，我们首先检查了一种简单的算法，该算法将压缩直接应用于差异私密的随机梯度下降，并确定其局限性。然后，我们为私人联合学习提出了一个统一的框架Soteriafl，该框架适应了一般的局部梯度估计剂家庭，包括流行的随机方差减少梯度方法和最先进的变化压缩方案。我们在隐私，公用事业和沟通复杂性方面提供了其性能权衡的全面表征，在这种情况下，Soterafl被证明可以在不牺牲隐私或实用性的情况下实现更好的沟通复杂性，而不是其他私人联合联盟学习算法而没有沟通压缩。